本文接續前篇內容，若您還未閱讀過前篇，歡迎點擊下方連結：

隱藏在數據之後的設定

評測成果公布後，各家廠商的說詞與解釋百花爭鳴，那麼，在廠商們以數據互相較勁的同時，還有哪些資訊是數據無法表達的呢？

建議各位一定要去看看「廠商設定 (Vendor Configuration)」這項資訊，此處記載了該廠商參與當次評測所使用的產品列表，以及那些服務或軟體相關的詳情，如版本、是否包含特定功能、是否有額外配置等資訊。因此，當您被任何一家廠商的成果數據吸引，都不妨查看一下他們的廠商設定內容，進而瞭解需要購買哪些服務、軟體和進行怎樣規格的配置，才能夠收穫令您滿意的相同成效數據。

舉個有趣的例子，Elastic 在這次的評測中並未納入自家的 EDR，而是採用 winlogbeat 加 sysmon 再配上 Elastic 的組合來評測，這其實是一個很值得一提與觀察的變化，Elastic 使用了免費工具搭配自家 SIEM 平台來參與挑戰，或許是為了商業推廣、也或許是為了造福一般大眾，但無論其背後原因為何，這點都是只看數據完全無法掌握到的事實。

評測亮點：策略

在前篇偵測類別 (Detection Categories) 的變化中曾經提及，本輪的 ATT&CK 評測將告警 (Alert) 與關聯 (Correlation) 這兩項取消掉了，然而，它們代表的核心精神並沒有消失。

MITRE Engenuity 本次透過另外一種形式來呈現相關結果，以中立單位的角度，單純地將所看到的各家廠商產品如何告警、數據間如何做關聯等策略，十分客觀且詳實地記錄了下來。

為何我們會說策略是是本次評測的亮點呢？事實上，若你和我們一樣將各家結果數據翻遍，不難發現表現在上位圈中的廠商，偵測能力等數值都相差無幾，反而更能看出其中差異性的，就在於資料呈現的部分。因此，MITRE 記錄下的策略顯得十分具有參考意義和價值，能瞭解各廠商的產品是如何將大量的告警端點數據進行呈現。

我們仔細瀏覽了許多廠商的結果，發現了幾項普遍存在的問題，例如：

• 告警數量明顯過高，一個簡單的釣魚文件甚至給出超過一百個處置建議
• 提供大量的數據讓使用者自己查，但實際上根本難以調查
• 無法呈現出跨端點間的環境與場域狀況

值得一提的是，在 ATT&CK 評測中並沒有將誤判考慮進去，且評測中環境的端點數量兩隻手就能數得出來，因此，這些問題乍看下或許不是多嚴重，但試想將此情境放回有大量端點且嘈雜的現實環境中，並且考慮端點可能產生誤報的情況時，上述這些問題的缺點便會被放大無數倍。

挑選最適合自己的產品、廠商

介紹了這麼多，最後我們還是要再來講講，企業該如何利用 ATT&CK 評測來挑選合適的廠商與產品。由於今年已經沒有了 MSSP 這項偵測類別，所以很遺憾地是我們無法從本輪成果中看出各家廠商的託管服務能力。今年評測中可以觀測出來的指標包含以下幾點。

• 資安防禦策略：這個項目所指涉的範圍相當廣泛，建議您先評估目前自身防禦體系中較為不足的項目，找出在意且有危害的 Technique、Tactic，再以此去檢視對應的幾項評測結果，是否有符合這些需求。倘若正面表列有困難，也不妨反過來先刪除掉您不需要的項目。
• 事件分析能量：如果您的企業資安人員人數較少，建議優先挑選資安人員好理解的產品畫面，ATT&CK 評測的好處之一就是能透明地看見各廠商產品畫面，而本輪評測更是特別將各產品的 Dashboard 截圖出來，並直接將各產品的告警策略、關聯分析毫無隱藏地呈現給大眾檢視，讓企業可以初步先篩掉完全看不懂或可用性低的產品。
• 事件可視性：今年在公布評測結果時，MITRE Engenuity 也將網頁做了一個很大的變化，其中便包括了分析偵測覆蓋率 (Analytic Coverage)，然而，如同我們先前的文章中提及，可視性和覆蓋率數據並不像抽撲克牌比大小那樣，只要數字大就一定代表好，反而是在偵測覆蓋率愈大的同時，也可能代表了雜訊的放大。因此，可視性和事件分析能量需要互相輔助來評估，這項指標可以讓你了解不同廠商在一系列 APT 行動中，能夠看到多少行為，並快速篩選出能偵測大多攻擊步驟的廠商。

去年，我們使用不同的資安成熟度做為舉例，來探討廠商應如如何用 ATT&CK 評測的成果，而做為關注 ATT&CK 多年的資安廠商，我們在參考了許多國內外提出的不同看法後，最終提出了一套無論是小型企業或大型 SOC 都適用的方法論，協助大家挑選真正有效且適合的資安產品。

第一步：評估威脅

首先要做的是威脅評估，唯有當您充分瞭解自己正在面對的威脅，以及企業、主管單位在意的威脅時，才能夠做最適當的採購與資安計畫。萬事起頭難，第一步很可能會是花最多時間蒐集資訊與思考的步驟，可以根據下列幾個問題開始著手：

1. 單位過去的資安事件
2. 公司內外的潛在威脅
3. 最近同業出現哪些資安事件
4. 上層對於哪些資安事件很在意

第二步：將威脅轉化為可評估項目

蒐集完企業目前面對的資安威脅後，接下來需要做的，就是將其轉換成可評估的項目，這樣才能進一步量化資安成效。那麼如何轉換呢？這時就要利用到 ATT&CK 威脅評估框架啦！

舉例來說，單位過去曾經遭受釣魚郵件導致使用者執行 word 文件的巨集，經過調查分析發現，巨集中使用了執行惡意 VB script，並且用 mimikatz 竊取管理員帳號，最後利用 pass the hash 移動到其他主機。

再這個按力的情境下，我們便可以將此資安事件歸納出以下的 ATT&CK Technique：

• User Execution (T1204)
• Phishing: Spearphishing Attachment(T1566.001)
• Command and Scripting Interpreter: Visual Basic (T1059.005)
• Command and Scripting Interpreter: PowerShell (T1059.001)
• OS Credential Dumping (T1003)
• Use Alternate Authentication Material: Pass the Hash (T1550.002)

第三步：參考 ATT&CK 評測

將評估過的威脅全部整理起來，並轉換成 ATT&CK 後，將目前您擁有的資安產品無法偵測出、或者資安監控團隊認為影響最劇烈的 Technique 挑出來，例如以上下文判斷才能夠偵測的攻擊手法 Use Alternate Authentication Material: Pass the Hash (T1550.002) 為例。

另外，也特別提醒您，在評估時多加留意人為設定變更 (Configuration Change)。此外，因為要考量實際使用時是不是能達到相同的設定，在評估過程中，我們強烈推薦使用官方網站的工具 Technique Comparison Tool 來進行比較。

緊接著，我們就用不同的資安成熟度為標準，來提出幾個挑選產品的方法案例。

案例一：資安成熟度不高

像是專注本業的中小型公司，或者組織並沒有充足的資安人力，無法將每筆偵測告警全都看完的單位，這種情況下，首先必須要挑有提供 MSSP/MDR 服務的廠商，不過今年並沒有測試 MSSP，所以需要自己查資料完成這項評估。初步篩選完畢後，可以按照這個思路去考慮順序：

1. 有 MSSP/MDR 服務的廠商
2. 事件可視性：在 20 個主要測試步驟，全都可以偵測到的廠商，此指標能夠從評測網站中，各家廠商的 Results Graphs 觀察到
3. 資安防禦策略：能夠補足單位目前資安防禦框架中，還無法偵測到的 ATT&CK Technique 的廠商

首先，我們將能夠提供 MSSP/MDR 服務、減輕企業人力負擔的廠商挑出來，透過 ATT&CK 評測確定廠商在一連串的 APT 行動中，是否偵測出到所有攻擊足跡並告警，在確定產品基本能力有到位後，最終再一次確認先前在評估威脅項目時圈出來的 Technique，這些廠商都能夠成功偵測到。

案例二：資安成熟度中上

企業內部擁有專職的資安分析師，能夠有完整大量的時間進行分析，因此需要最詳細的資料。單位具有足夠技術人力資源，或是技術狂熱份子，所以希望能接收到每一筆超級細項的數據，以便進一步利用。這種類型的單位，可以按照下列方式去尋覓合適的廠商：

1. 事件可視性：偵測率/可視性等指標成績在上位圈的廠商
2. 資安防禦策略：能夠補足現在資安防禦框架中無法偵測到的 ATT&CK Technique 的廠商
3. 事件分析能量：找自己喜歡而且能夠讀懂的產品介面

這邊我們舉個例子，來讓大家了解一下事件分析能量的重要性。在同樣的攻擊步驟 Use Alternate Authentication Material: Pass the Hash (T1550.002) 下，同樣是在表示登入事件的遙測 (Telemetry)，不同廠商的呈現方式會大大影響使用者的調查速度。

以下取自 VMWare 與 FireEye 的截圖，各位不妨比較體會一下畫面呈現的差異性：

案例三：資安專業分工 SecOps！

這類的資安人員沒辦法 24 小時只看 Raw Data，而是需要把時間花在其他資安維運上。因此，這類與成熟度低的案例相較之下，主要差異在於雖然他是專門的資安人員、並且要處理資安事件，但現實上時間非常有限，則必須專注在有效告警，沒辦法像案例二那樣花費大量時間在檢視 Raw Data。這種類型的單位，可以按照以下方式去思考合適的廠商：

1. 資安防禦策略：能夠補足現在資安防禦框架中無法偵測到的 ATT&CK Technique 的廠商
2. 事件可視性：偵測率高的廠商同時也要考慮偵測信噪比，過高的可視性適得其反而易演變成疲勞告警，導致資安事件應變與調查的進展被拖累
3. 事件分析能量：找自己喜歡而且能夠讀懂的產品介面

我們在案例二中使用遙測做為舉例，提出產品介面呈現會如何影響調查的速度，而這邊我們以技術 (Technique) 類別為例，在廠商能精準偵測到攻擊手法時，有些廠商會盡可能呈現 Raw Data 作為輔助資料，而有些廠商則是希望加速人員判讀，因此選擇不同的呈現方式。

結語

這幾年觀察下來，參加 ATT&CK 評測的廠商數量持續在上升中，從去年的 21 家廠商到今年的 29 家，愈來愈多廠商相繼投入評測的同時，也可以說是更多的廠商認同了其重要性與中立性。

MITRE Engenuity 在今年也加入了 Protection Day 的考試，雖然結果並沒有非常耳目一新，但是有將第二輪的一些不完美之處修正，並試著使評測結果更加中立與合理，在這一點上還是能看出 MITRE Engenuity 的用心。

此外，雖然我們不能直接論定軍備競賽的形式，對於整個產業的後續影響是好還是壞，不過可以確定的是，廠商們便得更加熟悉考試方式後，策略的差異和影響便也浮上水面，有更多值得觀察的重點，像是各種爭取人為設定變更 (Configuration change)、保護方式全開等，都讓 ATT&CK 在整個業界能起到軍備競賽的作用。

而在名列前茅的廠商們偵測能力相差無幾的情況下，哪家廠商提供更精確有效的告警，並呈現讓人能夠快速了解場域目前狀況的畫面，就更能在這公平公開的評測中脫穎而出。

下一輪 ATT&CK 評測的招募訊息很快地已經出來了，身為資安人員的我們很期待在下一輪的題材 (Wizard Spider and Sandworm)，會出現什麼樣不同的考試方式，或是有趣的 Technique 在各家廠商產品中的呈現。屆時，若是有出現值得關注的亮點，我們也會持續與大家分享，敬請期待囉！

關於奧義智慧科技

世界領先 AI 資安公司，以創新 CyCraft AI 技術自動化資安防護，內建進階端點防護 (EDR)、全球威脅情資 (CTI)、網路偵測回應 (NDR) 並整合建構新一代 AI 資安戰情中心，獲得逾五十個政府機關、警政、國防單位，以及三成金融機構、數十家關鍵領域龍頭企業的信賴，市佔率國內第一，客戶涵蓋政府機關、金融以及高科技等跨國企業與財星 500 大企業。

2020 年在美國 MITRE ATT&CK® 公開評測獲得最高偵測能力、最少人為介入、最低雜訊等亮眼成績；並獲美國頂尖創投 Momentum Cyber 列入全球資安產業地圖 (CyberScape)。從端點到網路、從調查到阻擋、從自建到託管，CyCraft AIR 涵蓋企業安全所需的一切面向，遵循 F/A/S/T 量化指標，提供客戶主動防禦，達到「威脅，視可而止」。

追蹤奧義智慧，掌握最新資訊安全情報：https://www.facebook.com/cycrafttechnology

想了解奧義智慧科技獲國際頂尖肯定的 AI 資安防護產品與方案，保護您的單位端點不受惡意程式侵襲嗎？歡迎透過 contact@cycarrier.com 直接與我們聯繫！